蒙特卡洛方法求积分以及部分所需的概率论术语可以在PBRT以及概率论与数理统计中找到
PBRT中给出了蒙特卡洛估计量,其中随机变量Xi∈[a,b]且独立同分布,分布满足概率密度函数 p(x)。
FN=N1i=1∑Np(Xi)f(Xi)
其期望为
E[FN]=E[N1∑i=1Np(Xi)f(Xi)]=N1∑i=1N∫abp(x)f(x)p(x)dx=N1∑i=1N∫abf(x)dx=∫abf(x)dx
方差为
σ2=N1∫(p(x)f(x)−I)2p(x)dx
结果的误差与标准差成正比,因此随着样本数增加误差缩小速度仅与N相关(即常说的增加4倍采样数目才能缩小一半的误差)
PBRT以及许多其他文章书籍等直接给出了这个估计量的期望计算(其中第二步到第三步并未直接说明来由,尽管PBRT在对期望的简介中已给出式子),这一步只能证明估计量本身无偏*。
以下将给出证明
引用一个知识点: Law of the unconscious statistician,简称LOTUS。用法是已知随机变量X的分布fX,但并不知道函数g(X)的分布fg(X)。那么此时函数g(X)的期望为
E[g(X)]=∑xg(x)fX(x)(X为离散型随机变量)
E[g(X)]=∫−∞∞g(x)fX(x)dx(X为连续型随机变量)
此处细节介绍也可以看Wyman的技术博客,其中就提到了许多地方都没有涉及到的LOTUS。
E[pdf(Xi)f(Xi)]=E[pdf(x)f(x)]=∫abpdf(x)f(x)pdf(x)dx=∫abf(x)dx
这里积分区间变为[−∞,∞]也是如此。以下将会使用到大数定律的知识背景。
引用自维基百科:设 a1,a2,...,an,...为相互独立的随机变量,其数学期望为: E(ai)=μ(i=1,2,...),方差为: Var(ai)=σ2(i=1,2,...)
则序列a=n1∑i=1n,ai 依概率收敛于 μ(即收敛于此数列的数学期望 E(ai))。
取一组独立同分布的随机变量{ξ},且ξ在[a,b]内满足分布律p(x),则令p∗(x)=p(x)f(x),**则{p∗(ξi)}也是一组独立同分布的随机变量。**,那么计算其得到的期望其实就是积分本身(见下)。
由大数定理
Pr(N→∞limN1i=1∑Np∗(ξi)=I)=1
那么这里已经有随机变量{p∗(ξi)}存在,且期望等于积分值,**那么根据大数定理可知,这里的{p∗(ξi)}就是会依概率收敛于积分值。**证毕。